Learning Personalized Memory Gating from Delayed One-Sided Feedback
从延迟单侧反馈中学习个性化记忆门控
🧭 Agent 长期记忆 · 个性化门控
Salesforce AI Research · University of California, Los Angeles · University of Illinois at Urbana-Champaign · University of Illinois Chicago
将 Agent 记忆门控建模为延迟单侧反馈的 contextual apple tasting，提出 Warm-Start UCB 实现用户级个性化选择
📌 工作参考价值（4 点）
- 在电商客服/导购 Agent 的记忆系统中，不要使用全局统一的重要性阈值；可以按用户做个性化门控，用“该 fact 后续是否被检索并用于回复”作为弱标签，低成本构造训练数据。
- 把记忆写入决策当作 contextual bandit 问题处理：只有保存下来的 fact 才能观察到后续复用信号（单边反馈），且复用有延迟；可采用 Warm-Start UCB 的思路，先用离线数据初始化策略，再对当前用户在线微调，比纯离线或纯在线更稳。
- 工程实现上，设置合理的延迟窗口：理论显示延迟窗口在 O(√T) 内时 regret 有上界，延迟过长时应截断或异步更新，避免在线学习退化。
- 业务可复用结论：用户对 fact 的复用模式差异大，个性化门控在 memory budget 小、history 长时优势更明显，适合需要长期用户记忆的电商推荐/客服场景。